张立山等｜面向课堂教学评价的形式化建模与智能计算

点击上方蓝色文字关注我们

---

作者简介：张立山，副研究员，硕士生导师，华中师范大学人工智能教育学部、国家数字化学习工程技术研究中心（湖北武汉　430070）；冯硕、李亭亭，硕士研究生，华中师范大学人工智能教育学部、国家数字化学习工程技术研究中心（湖北武汉　430070）。

基金项目：科技创新2030——“新一代人工智能”重大项目“混合增强在线教育关键技术与系统研究”（2020AAA0108804）；国家自然科学基金青年项目“项目式学习辅助系统的学生模型研究”（61807004）。

引用：张立山,冯硕,李亭亭(2021).面向课堂教学评价的形式化建模与智能计算[J].现代远程教育研究,33(1):13-25.

---

摘要：随着课堂教学从固化单一的教师传授，向强调小组协作参与的教学转变，如何面向以协作学习为基本特征的课堂实施形成性评价已成为教学评价改革亟需解决的问题。在智能技术支持下，形式化建模可以将复杂多变的课堂教学过程解构，形成数理模型；智能计算可以通过算法评估学生学习状态，并根据教学原则生成教学辅助信息。二者的结合可以促进人类智能与机器智能的有效融合，形成人机协同的课堂评价机制。面向课堂教学评价的形式化建模与智能计算通用架构，自下而上包含教与学行为的感知和存储、教与学行为评估模型的构建、教与学状态的智能计算和教学辅助信息的生成四个部分。前两部分着重对教育情境和问题的表征，是形式化建模的关键步骤；后两部分着重具体技术路线的实现，是智能计算的具体过程和功能体现。整个系统以教与学行为的感知和存储为基础，通过构建评估模型，确定模型的输出；然后引入智能算法对模型进行计算，达成对教与学状态的评估；最后根据相应教学原则，自动生成辅助教师进行课堂教学评价的信息。该通用架构以及人机协同教学、评价机制的进一步完善需要研究者携手教师进行“共同设计”，协同教育学、计算机科学、心理学等多学科进行交叉研究。

关键词：课堂教学；智能教育；智能计算；形式化建模；形成性评价

---

一、问题的提出

教育评价是教育发展的指挥棒，事关教育发展的方向。2020年10月，中共中央、国务院印发了《深化新时代教育评价改革总体方案》，提出要克服“唯分数”等顽瘴痼疾，“改进结果评价，强化过程评价”（新华网，2020）。课堂教学评价是教育评价体系的重要一环，实施什么样的课堂教学评价体现了我们提倡什么样的课堂。目前课堂教学评价主要有总结性评价和形成性评价两种方式。总结性评价旨在判断课程结束时学生已达到的成就，形成性评价意在对教与学的每个阶段提供反馈和纠正（Bloom，1969）。后者由于注重对学生学习过程证据的收集与分析，可以使学生个体得到更多的关注与更精细化的帮助与支持，因而成为课堂教学评价改革的焦点。本文的“课堂教学评价”也主要聚焦于课堂中的形成性评价。

传统的课堂形成性评价在实施过程中，面临诸多困难。一方面，传统的形成性评价技术和策略对教师提出了很高的要求，需要其具备证据思维，并在教学的同时观察和记录学生的过程表现（赵士果，2013）。这增加了实施形成性评价的难度。另一方面，课堂观察记录、活动记录、档案袋等传统形成性评价技术采用纸质材料，填写、收发和整理等过程十分耗时，且对学习制品等评价材料的贮存也较为困难。近些年，尽管部分课堂教学系统或学习管理系统创造了电子形式记录过程数据的条件（宋飞，2008），但仍未从根本上解决形成性评价的推行难处。因为这些评价技术只关注了评价的收集数据环节，未能系统解决教师实施形成性评价的问题。

随着信息技术深入课堂，翻转课堂、问题解决学习、项目式学习等以学生为中心、以培养学生高阶能力（如协作探究能力、创新能力等）为主要目标的新型教学模式纷纷涌现。这些课堂的学习任务和活动往往比较复杂、难度较高，所以分组协作解决问题、共同创造学习制品是常见的方式。同时，这种复杂教学活动的开展需要教师能够根据学生的学习进程及时调整教学策略。这些都对课堂教学评价的智能化提出了较高要求。如何面向以协作学习为基本特征的课堂实施形成性评价已成为课堂教学评价改革迫切需要解决的问题。

一些研究人员提出用形式化建模与智能计算来更系统地帮助和支持教师，以形成人机协同的课堂评价机制。形式化建模方法起源于软件工程，旨在对软件开发流程进行梳理基础上的建模表征，实现软件设计、开发和验证等的标准化（王戟等， 2019）。对课堂教学进行形式化建模需要依据软硬件设备采集数据，按照一定的标准建立数据集，并在此基础上，针对实际课堂需求，明确模型的输入和输出状态。智能计算是引入机器学习、深度学习等智能算法对建模后的输入数据进行计算，得到以数学表征的输出状态，并籍此分析学习者潜在学习特征和规律的过程。在课堂教学评价中，形式化建模就是对课堂教与学的行为进行符号表征，形成数理模型；智能计算则是对所表征的教与学行为进行分析计算，辅助教师进行课堂教学评价。二者的联动既可以在课堂教学评价的证据收集和解释环节实现自动化，又可以在实施教学行为环节给予教师支持，因而成为了课堂教学评价改革的重要方向。

二、典型课堂教学评价系统与架构

在智能技术的支持下，课堂管理系统发展迅速。考虑到提供课堂教学评价的课堂管理系统必须具备实时分析、评价学习过程，为教师提供反馈信息等基本功能，我们通过调研总结了国内外6种典型智能教学或管理系统（见表1）。其中，Lynnette是一个专门教授学生求解线性方程的智能导学系统（Long et al.，2013），Lumilo是一款能可视化呈现信息并进行一定虚拟交互的智能眼镜（Holstein et al.， 2019），二者通过一定机制可以帮助教师实时感知学生的信息；FACT系统是可以支持学生进行数学问题协作解决，同时增强教师感知和控制能力的智能课堂管理系统（VanLehn et al.，2019）；雨课堂通过采集学生课前、课中和课后学习信息，辅助教师教学（王帅国，2017）；Spinoza通过分析学生编程过程中的实时代码和操作行为，给予学生和教师指导与帮助（Deeb et al.，2018）；SAIL Smart Space（Tissenbaum et al.，2019）和MTClassroom（Martinez-Maldonado et al.，2014）都是智慧教室，可实现学生在触摸式桌面学习，内置的软件对学生学习进行实时分析并发送给教师，教师使用平板电脑的仪表盘程序实时查看学生状态和控制活动流程。

研究对上述6种典型智能系统的输入数据、输出状态、支撑设备和计算路径进行了梳理和比较。结果发现，这些系统基本都以学生的操作行为、答题记录为输入数据，并通过一定的计算方式，为教师提供学生在认知、学习状态和与他人协作方面的信息与指导。在计算路径上，这些系统都遵循了形式化建模与智能计算的思想，且不单关注了学生在课堂上的个人学习行为和小组协作学习行为，还为个人、小组和班级三个层级活动的转换提供了支持。 

表1    典型智能系统/工具分析

在实际课堂中，学生可能在个体学习和协作学习之间相互切换，因此面向课堂教学评价的智能系统需要同时关注这两种学习的过程。面向一对一个性化教学的智能导学系统通用架构规定其通常需要实现四个方面的主要功能 （VanLehn，2016），如图1所示：第一阶段，表现（Performance），监测学生的知识表现；第二阶段，反映（Mirror），将学生的实际表现反馈给学生，促进学生反思；第三阶段，评估（Assessment），对学生表现进行测评；最后，干预（Intervention），根据测评结果，给予学生教学干预。协作学习管理系统同样需要实现四个方面的功能（Soller et al.，2005），如图2所示：第一阶段，收集和聚合学生交互数据；第二阶段，进行数据整合，实现学生交互的可视化，以确定学生当前交互状态；第三阶段，计算学生实际交互与期望交互的异同；第四阶段，生成教学干预，提供建议和指导。从形式化建模与智能计算的内涵看，智能导学系统和协作学习管理系统通用架构的前两个阶段属于形式化建模范畴，后两个阶段属于智能计算范畴。可见，支持这两类学习行为的系统的通用架构是互通的，我们可以这两种通用架构为基础，构建面向课堂教学评价的智能系统通用架构。

图1　智能导学系统的通用架构

图2　协作学习管理系统的通用架构

三、面向课堂教学评价的形式化建模与智能计算设计

架构，是一类复杂系统的底层标准，是有关系统整体结构与组件的抽象描述，对具体系统的模块实现具有指导意义。针对课堂教学评价的复杂性，我们在调研和分析典型系统基础上，参考了智能导学系统和协作学习管理系统的架构设计，最终形成了面向课堂教学评价的形式化建模与智能计算通用架构，如图3所示。该架构自下而上包含四个部分：教与学行为的感知和存储、教与学行为评估模型的构建、教与学状态评估的智能计算以及教学辅助信息的生成。前两部分聚焦对教育情境和问题的表征，是形式化建模的关键步骤；后两部分侧重具体技术路线的实现，是智能计算的具体过程和功能体现。整个系统以教与学行为的感知和存储为基础，通过构建评估模型，确定模型的输出，即状态；然后通过引入智能算法对模型进行计算，达成对教与学状态的评估；最后根据相应教学原则，自动生成辅助教师进行课堂教学评价的信息。

图 3　课堂教学评价形式化建模与智能计算的通用架构

1.教与学行为的感知和存储

形式化建模质量取决于高质量数据集的获取，因此如何在课堂中对教师和学生的行为进行感知并以数据集方式进行存储，是事关形式化建模效果的关键问题。课堂智能设备的日渐丰富创造了泛在式学习分析的条件，对网络和物理两个空间的教与学数据进行采集可以更全面反映课堂实际。

在网络空间中，课堂软件系统可以对教师和学生的课堂行为（如答题、记笔记、文字输入等）进行捕捉，并通过一定的数据标准进行存储。目前主要的数据标准有SCORM和xAPI两种。SCORM（Shareable Content Object Reference Model）是数字化学习互操作性的行业标准，规范着在线学习内容和学习管理系统之间的通信方式（李青等，2013）。任何SCORM内容都可以在符合SCORM标准的学习管理系统显示。此标准可以记录学生的学习状态、学习时间和学习效果（是否通过测试）等。但是因为学生在学习管理系统中的学习时间相对有限，SCORM并不能体现学生数字化学习的全貌。另一种数据标准xAPI（Experience API）则有效弥补了SCORM的不足，它不仅可以记录学生在学习管理系统中的学习情况，还可以记录学生在移动学习、游戏化学习、协作学习、混合学习等多种学习模式中的数据，使得记录学生多种学习经历成为可能（李青等，2013；唐烨伟等，2015）。xAPI在语法上采用三元组的形式（<行为人，动作，结果>）记录教学活动中每一个参与者的所有行为动作，可以为后续进行数据挖掘与分析提供支持。

在物理空间中，可以利用眼动追踪、脑机接口、皮电、心电传感器等设备伴随式采集师生的生理和行为数据。如眼动追踪技术可以通过采集眼动数据，反映认知状态。这种技术的典型设备是眼动仪，分为头戴式和非头戴式两种。非头戴式不与分析对象直接接触，通过固定摄像机捕捉眼部运动相关数据，所以分析对象的活动被限制，适合在实验场景应用（Lund，2016）。在课堂场景下，师生更适合佩戴头戴式眼动仪（类似于眼镜，如图4），可以实时采集眼球运动和瞳孔反应等数据，后续通过智能计算可以反映师生的认知负荷等情况（Prieto et al.，2017）。脑电接口技术主要关注脑部活动，采集神经信号数据进行分析。与眼动追踪技术类似，目前脑机接口技术呈现出两种类似发展方向：一种是依赖固定装置的测量技术，典型代表是功能性核磁共振（Ferrari et al.，2012）。这种技术可以深层次地反映脑部活动状况，但缺点是不能在实际场景中应用。另一种是便携式脑电设备（Ramadan et al.，2017），可以采集脑部浅层活动的信号，根据特定的频率提取特定的脑电波，比如Alpha、Beta和Gamma波等。这些原始数据可以通过后续的计算分析，反映学生的注意力、情绪情感和认知负荷等情况。可穿戴传感器也可以佩戴在手腕处，常用的有皮肤电活动传感器和心电传感器，分别采集皮肤电和心电数据。这些数据与学生的学习有一定相关性，可以通过分析计算相应情绪状态（Fortenbacher et al.，2017）。这种传感器一般类似于手环，学生可以佩戴在手上，不影响正常课堂活动。除可穿戴设备之外，固定设备如摄像机、压力传感器等也可以作为收集学生面部表情和身体姿态信息的工具，用于实时分析学生的情绪状态（VanLehn et al.，2016）。这些设备的优势是可以在不干扰教师和学生的情况下进行信息的采集。

图4　课堂中头戴式眼动仪的应用（Prieto et al., 2017）

2. 教与学行为评估模型的构建

在感知和存储教与学行为数据的基础上，对所获得的信息进行数学表征，建立教学行为评估模型，是保证评价效果的关键。这个过程需要厘清智能模型输出需求，即需要从显性的教与学行为中挖掘什么样的内隐状态或心智模式。从学生层面来看，在以协作学习为主要形式的新型教学模式中，智能教学评价系统需要利用不同的向量表征学生的个体异常状态、认知状态和非认知状态，以及小组的问题解决进度和协作情况。同时，也要对教师如何依据学生状态做出教学干预以及干预的策略进行表征。

（1）个体异常状态

学生个体常见的异常状态包括离线、沉默和滥用提示等。当智能教学评价系统检测到学生的离线状态，需向学生发起离线提醒，并设置相应的离线保护机制，以防学生和小组的解决方案丢失。沉默状态是系统在一定时间内，没有监测到学生操作行为的情况。协作学习中一个常见且十分重要的问题就是小组中一些学生不积极参与，甚至是不参与。这就需要从系统监测角度对此进行跟踪。滥用提示则是学生的“取巧”行为（Aleven et al.，2016）。针对复杂问题，智能系统会为学生设立提示机制，帮助学生攻克难题。恰当利用提示，将有助于学生找到正确解决问题的方向并减少认知负荷。但如果学生通过“投机取巧”和滥用提示解决问题，其知识水平和能力就得不到提高。因此，这种状态也需要监测。

（2）个体认知状态

学生的学习认知状态是指学生关于某一问题或知识点的理解和掌握程度。表征学生的认知状态一般是在特定系统中，学生进行答题，系统根据学生的答题情况进行评价。认知状态的评价一般有粗颗粒和细颗粒两个评价维度。这里的颗粒度指的是任务领域知识的聚合程度。对任务领域的每个知识点的掌握程度进行评价即为细颗粒度评价，对学生状态给出简单的数字评价（如答题正确数、尝试次数和求助次数等）即为粗颗粒度评价（Vanlehn，2006）。这两个维度的评价对于教师的课堂教学而言都有相应的用途：细颗粒度的评价可以让教师了解到学生知识体系中的薄弱之处，发现潜在的知识误区；粗颗粒度的评价可以使教师在一个较为概括的层面把握学生的学习情况，发现学生所处的认知状态。因此在课堂实践中，二者是相辅相成的关系。

（3）个体非认知状态

在课堂学习中，学生的非认知状态主要包括专注力、情感和压力等。有研究发现，若学生在学习活动中高度参与、积极投入，会产生一定的心流效应，即沉浸在学习中，生理上表现为高兴、愉悦的情绪，且有较高的专注力（Csikszentmihalyi et al.，1990）。反之，若学生在学习任务中迷失，跟不上学习进度，往往表现出消极、厌恶的情绪，专注力低，压力过高。这时教师若能对“迷失”的学生及时给予干预和帮助，学生就可能回归到课堂节奏中。

（4）小组问题解决进度

为了让教师快速了解小组协作解决问题的情况，课堂教学评价系统需要具有可视化问题解决进度的功能，帮助教师对课堂进行管理和把控。因为协作课堂中，教师需要进行活动、任务的设计与分配，并根据学生状态实时调整自己的课堂进度和安排；而学生也需要及时了解自己及小组的学习情况和进度（Tissenbaum et al.，2012），保证自己不掉队。因此需要为协作学习中的师生提供这样的系统：一方面，教师可以在系统中查看学生和小组学习的进度，以及他们完成任务的状况。如果发现某小组在错误的方向上努力或因为某个问题停滞不前，教师可以进行及时干预。另一方面，学生也可以查看自己、他人或小组学习的进度和作品。可视化问题解决进程增强了教师和学生的课堂感知能力，可以帮助他们调整教与学的策略。

（5）小组协作学习状态

对小组协作学习状态的监测同样重要。Chi等（2014）认为，学生在学习活动中参与程度越高，学习效果越好，且从被动学习、主动学习、建构学习到互动学习，学习效果依次增加。但值得注意的是，并非划分小组就可以达到使学生进行互动学习的目的。在小组协作学习中，若某个成员不表达观点，只是被动地听其他人的发言，对小组无贡献，那么该成员就是在被动学习（VanLehn et al.，2019）。被动学习者学习效果较差。只有当所有成员都表达自己的观点，积极参与讨论，学习制品建立在所有成员的贡献基础上，这种学习才是互动学习，才是有效的协作学习。学生之间的有效协作学习即使是在计算机的支持下，也不是自发的（Viswanathan et al.，2017）。因此，教师和课堂教学系统需要了解学生和小组的协作状态，发现可干预的时机，鼓励学生积极参与到协作任务当中。

（6）教学干预

教师干预行为的种类很多，根据干预学生状态的不同，可分为认知类干预和非认知类干预：认知类干预是对学生认知的反馈，如给出直接答案、暗示和提示等（Vanlehn，2006）；非认知类干预是对学生非认知的反馈，如表扬、奖励和批评等（Tillery et al.， 2010；Shen et al.，2016；Ausin et al.，2019）。教师需要根据不同的学生状态做出不同的干预行为。同时，干预的时机也特别重要，尤其是在小组协作学习中。然而，干预行为的类型和时机的选择对于教师而言比较困难。解决之策就是把相关学生状态和干预行为分类匹配，形成教学原则。当学生出现某种状态时，教师就可以即时作出应对。因此，课堂教学评价系统需要评估干预策略的效果，寻找最优策略，帮助教师形成教学原则。

3.教与学状态评估的智能计算

厘清模型输入和输出后，就需要引入有关智能计算模型进行计算。因为不同的教与学状态有不同的算法模型，限于篇幅，我们仅对前文提及的个体认知和非认知状态、小组的协作学习状态（可视化问题解决进度是数据的可视化分析）以及教师的干预行为类型和时机，进行相应智能算法与应用的介绍。

（1）评估个体异常状态的方法

智能算法在学生异常状态的评估应用主要是监测滥用提示或帮助。在智能教学系统中，系统给学生提供帮助的方式主要有三种，即时帮助、延时帮助和按需帮助。按需帮助的设定是当学生学习遇到困难时，系统会提供学习提示、线索和暗示等。但需要预防的是学生短时间内多次发起帮助请求，滥用帮助反馈。监测这种状态的方法是在系统中建立基于Bug的规则，当系统监测到学生行为符合规则时，就触发警告信息。规则的建立主要基于以下考虑：做出深入思考行为的时间、步骤所涉及的技能和学生掌握该技能的可能性，以及学生在这一步骤中已经做了什么，比如之前不成功尝试次数等（Aleven et al.， 2006）。一个典型的基于Bug的规则就是当学生在某一环节遇到困难时，若请求帮助的时间小于系统所设定的最小思考时间，且多次请求帮助，系统就判定符合设定的规则，对学生进行警告。

（2）评估个体认知状态的方法

学生认知状态监测方面的算法研究已经较为成熟，其中最为经典的是贝叶斯知识追踪模型，它通过分析学生在具体任务中的表现，预测学生掌握知识点的概率来追踪学生的知识掌握程度变化（Corbett et al.， 1994）。该模型假设学生解决问题不仅取决于是否掌握了该知识点，也取决于失误（Slip）概率和猜测（Guess）概率。即当学生运用已经学会的知识点解决问题时，有一定的概率因为粗心大意而做错。同样，当学生没有学会知识点时，也有一定的概率因为猜测而做对。因此，贝叶斯知识追踪模型有初始学习、习得、失误和猜测四个参数。还有研究者使用逻辑回归模型对学生的知识掌握程度进行追踪，旨在改进贝叶斯知识追踪模型的一些弊端（Pavlik Jr et al.， 2009）。此外，认知模型由于可以提供学习者在领域任务中需要习得的技能信息，也在学生认知状态监测方面受到重视。然而构建认知模型的传统方法，比如结构性访谈和出声思维法，需要专业知识并且非常耗时。最新研究在良构知识（数学、生物等有确定事实和规则的知识）和劣构知识（有关概念应用的知识）的认知模型构建方面已有相应进展，减少了模型构建的工作量。在良构知识上，常用的方法是采用KC模型和Q矩阵。随着深度学习模型的广泛应用，针对劣构知识，研究人员开始基于卷积神经网络（Convolution Neural Networks）和长短时记忆网络（Long Short-Term Memory）来构建认知模型（Chaplot et al.，2018）。

（3）评估个体非认知状态的方法

在非认知状态的自动评估中，智能计算主要通过对特征进行提取和分类来实现对学生情绪状态的分析。VanLehn等人（2016）使用基于多层动态贝叶斯网络分类模型的面部追踪器对视频中的学生表情特征进行提取，输出表征学生状态的高维向量（El Kaliouby， 2005）；Arroyo等人（2009）融合学习者姿势、使用鼠标压力等多模态数据计算其情绪状态。近年来，随着脑机接口技术的应用，学习者脑电数据也被用于学习状态监测中。如王朋利等人（2020）利用脑机接口技术，采用支持向量机算法模型，根据注意力水平的高低将学生的学习风格分为视觉型、听觉型、读写型和动觉型等。

（4）评估小组协作学习状态的方法

对学生协作状态的智能计算在网络空间和物理空间均可实现，常见的是对软件日志记录的学生操作和学生语音的分析。一些研究人员采用了无监督的机器学习算法对日志文件进行数据挖掘，以发现学生的共同行为模式（Perera et al.，2008；Martinez-Maldonado et al.，2011；Martinez-Maldonado et al.，2013）。也有研究人员对系统日志文件和麦克风收集的声音进行特征提取，分析学生的操作行为和语音，智能分类识别小组学生的学习类型，以判断协作是否真正发生（Viswanathan et al.， 2017）。

（5）评估教学干预策略与时机的方法

教学干预行为的智能计算则是以强化学习算法为主。强化学习是一种自监督学习的机器学习算法，通过观测环境反馈、训练和优化决策，帮助代理做出有效决策（万里鹏等，2019）。Shen等人（2016）在智能导学系统中运用强化学习算法，研究了学习者不同特征与不同干预时机的匹配问题，以寻找最优教学干预时机。Ausin等人（2019）采用深度强化学习模型（DQN和Double-DQN算法），通过使用高斯过程方法，寻找适用于学习者特征的教学策略。在真实教学场景中，强化学习算法的应用，需要将相应的教学干预进行分类编码，然后利用强化学习的手段发现最优的教学干预策略。

4.教学辅助信息的生成

通过算法评估学生的状态后，如何根据教学原则生成教学辅助信息是面向课堂的智能教学评价模型架构最上层需要解决的问题。教学辅助信息的生成，即是在教学智能评估的基础上，根据一定的原则和规则，自动生成辅助教学实践的信息。就推送对象而论，教学辅助信息可以分成两类：给教师的提示和给学生的反馈。给教师的提示实际上是对学生状态评估的进一步表征。形式上可以是图形符号的，也可以是文字的。内容上可以是学生异常状态的警示，也可以是相关的教学提示和建议。在协作学习中，给学生的反馈，主要涉及三方面：一是对学生异常状态的反馈，二是对学生认知情况的反馈，三是对学生非认知情况的反馈。对学生异常状态的反馈是在监测过程中由系统自动提示。后两者比较复杂，因此这里重点讨论。

（1）对认知情况的反馈

对学生认知情况的反馈，是对学生问题理解和解决情况的反馈。构建这种认知反馈需要特定的原则和规则，这些原则和规则的制定来源于所采用的教与学理论和实践经验，以及所提倡的教学模式、范式等。教育心理学等研究认为，在协作学习课堂模式中，对学生的认知反馈需要是启发式的，以促进学生的主动参与和群体协作。反馈错误或者缺乏启发性，可能会破坏启发过程，进而影响协作效果。因为学生很可能不再进行观点的汇聚，而只是想着获得正确的反馈（VanLehn et al.，2019）。因此，面向协作学习的认知反馈应是面向学生学习过程生成的推断性和启发式评价。这就要求系统必须能识别学生解答的具体模式，智能地生成课堂教学评价。即课堂教学系统不仅需要理解学生的正确作答和操作行为，还要能发现或者预测学生可能发生的错误，并推断出学生犯错误的原因和知识误区，进而给学生发送启发式的疑问句，引导学生思考和进一步讨论。另外，反馈也可以发给教师，但这时不再是启发式问句形式，而是学生犯错误的原因和知识盲区。由于这类反馈和问题情境紧密相连，很难由统一的智能计算算法完成，所以需要教师根据学生的具体错误，人工给出反馈。典型的带有启发式认知反馈的课堂管理系统是FACT 系统（VanLehn et al.，2019）。

（2）对非认知状态的反馈

对于非认知状态的反馈，智能代理的作用非常关键。研究表明，智能代理可以减少不利于学生学习的情绪（ Woolf et al.，2010；Arroyo et al.，2011；Andallaza et al.，2013），减少学生滥用提示的行为（D Baker et al.，2006；Woolf et al.，2010；Arroyo et al.，2011），激发学习动机，提升自我效能感和改善学习态度（Baylor et al.，2005；Robison et al.，2009；Woolf et al.，2010；Arroyo et al.，2011；Gulz et al.，2011）。通常，智能非认知代理对学生非认知情况的反馈是在识别学生状态的基础上，与智能导学系统相关机制协同，根据教学原则和规则做出的反馈，以实时调节学生在解决问题或任务过程时的元认知水平、情绪状况和专注水平等。如VanLehn等人（2016）利用智能导学系统中的智能代理对学生任务进程中的非认知状态进行识别，利用随机森林算法自动给出干预信息，调节学生负面情绪。

四、智能技术增强课堂教学评价的应用示例

协作学习课堂教学评价的复杂性，主要体现在教师在真实课堂情境下如何在课堂时间、课堂教学进度等限制下，协调学生个体、小组和班级三个层级的活动安排和进度。应对这种复杂性需要形式化建模与智能计算的支持。具体来讲，课堂教学评价需要一种可以实时分析学生、小组行为和状态的机制，及时为学生提供恰当反馈，为教师提供相应的提示。这种机制需要智能系统软件和硬件设备的支持，以形成可行的解决方案。当前国内外学界都在对智能化的课堂教学评价进行积极的探索和思考，形成了不同的解决方案，这里介绍三个相对成熟的方案。

1.卡内基梅隆大学的混合现实技术工具及系统

卡内基梅隆大学人机交互研究所开发了教学生求解线性方程问题的智能导学系统Lynnette（Long et al.，2013）和面向教师的可穿戴工具智能眼镜Lumilo（Holstein et al.， 2019），两个系统工具可以通过学习管理系统完成数据通信为教师提供支持。学生使用Lynnette进行学习，Lynnette可以对学生每一个学习步骤进行分析，识别错误后，给学生发送提示和反馈等信息。在形式化建模过程中，Lynnette主要采集学生答题信息和操作记录，输出学生的认知状态和异常状态。在具体算法运用方面，它采用了贝叶斯知识追踪的方法，追踪每个学生的知识掌握情况。Lumilo是一款可以增强教师对学生学习、元认知和行为的实时感知能力的混合现实（Mixed-Reality，MR）智能眼镜，使用了Unity3D和HoloToolkit进行开发。它可以把Lynnette对学生的分析进行再处理和可视化，呈现在教师佩戴的智能眼镜上，增强教师对每个学生的感知。

Lumilo把学生的行为和答题分为错误使用系统（例如，猜测、滥用提示）、无效挣扎（例如，多次尝试但学习效果不好）、挣扎（例如，很多错误）、非常出色（例如，做对了N个问题）和沉默（例如，两分钟之内没有交互）等不同状态进行建模表征和智能计算。每种状态用不同的图形化符号与之相对应，如红色问号表征“无效挣扎”状态。当教师佩戴Lumilo时，可以看到学生头顶出现的不同颜色和形状符号，由此了解他们的实时状态，如图5右所示。针对一些学生因为害羞不主动举手这一问题，该系统也提供了相应的解决方案。系统会分析学生的解答，自动显示举手。为方便教师系统了解学生的解决过程，而不是某个特定时刻的特定状态，系统还会对学生的行为进行分析，经Lumilo可视化后，教师只要“点击”学生头上的标识，就可以看到某位学生的解决过程。这样教师就可以对某个学生的解决过程进行回溯性分析，快速发现问题所在。

图5　左图为教师在课堂佩戴智能眼镜，

右图为教师佩戴眼镜看到的画面（Holstein et al.， 2019）

由上可见，智能导学系统对学生学习行为的数理表征以及智能算法在相应认知状态探测中的应用，极大地优化了课堂教学评价。尤其该系统通过学生模型的动态更新，结合混合现实技术提供的可视化功能，使教师不仅可以观察学生的表情、动作和行为，还可以及时看到相关分析和建议信息，这在一定程度上避免了教师因查看平板电脑课堂系统上的信息而忽略了现实中学生学习状态和动作的情况。

2.亚利桑那州立大学的FACT系统

FACT 是亚利桑那州立大学团队开发的一个课堂管理系统（VanLehn et al.， 2019），主要通过教师仪表盘呈现学生课堂学习行为和状态，如图6所示。在FACT课堂管理系统中，教师可以管理和控制教学进度，具备分组、暂停课堂、投影学生屏幕至大屏幕和给学生发送文字信息等功能。在感知学生状态方面，教师可以通过系统看到哪些学生在寻求帮助，查看学生和小组的任务解决进度，查看学生的作品，获得学生离线警告等。

如图6所示，FACT系统提供的教师仪表盘上设置有进度条功能，可以显示每个学生的错误比例和错误类型。当学生错误太多时，会触发警告。FACT还内置了多个评测器，引入多种算法对学生状态进行实时评估。不同的课堂任务有不同的标准作品，所以也就有不同的评测器。如在监测学生认知状态方面，系统内置了作品评测器，可以完成对学生作品与标准作品间的比较。在一些协作讨论任务中，评测器通过读取和计算相应图和文字的位置，评估学生的解题进度。系统还会依据学生的解题进度，适时地给予启发式的文字提示，以促进学生的深入讨论。具体的实现方式是：系统首先把相关信息发送至教师端，让教师了解学生的学习情况，包括知识点掌握的正确与错误情况、学生理解上的潜在误区和拟发送给学生的提示。教师审核后发送，学生才可以接收到提示，进而根据提示继续思考和讨论。FACT系统还开发了过程评测器，用于评测小组协作状态，方式是通过监测小组学生的操作行为和语音，识别异常协作状态。当小组参与失衡，出现不对称贡献，系统会触发警告。例如，当小组学生共同参与完成海报的不同部分时，“分开工作”（Working Separately）的标识就会触发；当系统监测到小组中某个学生独自完成了小组的所有操作，系统的“独自工作”（Working Alone）标识就会触发。这样就可使教师对学生的协作状态一目了然。

图6　FACT 系统的教师仪表盘（VanLehn et al.，2019）

由上可知，传统的自适应技术主要强调对学生知识状态的追踪与分析，更多是面向教室外的独立学习场景，而FACT系统整合了课堂管理系统和智能导学系统的相关技术，通过表征和计算学生的学习过程，自适应地给予教师教学帮助和支持。

3.清华大学的混合式教学课堂系统

雨课堂是清华大学团队开发的面向混合式教学场景的课堂系统，可以支持数据驱动的课堂教学，为课前、课中和课后三个教学阶段提供全景式的数据和信息支持（王帅国， 2017）。它支持手机和电脑使用，可以利用远程服务器对教与学的数据进行采集和分析。雨课堂以插件形式内置在PowerPoint中（如图7所示），教师不需要学习繁琐的系统，就可以进行相对复杂的混合式教学以及课堂教学评价。

图７ 　“雨课堂”插件界面

在课上，雨课堂提供了包括师生幻灯片同步播放（教师端PPT翻页，学生端幻灯片同步放映）、实时测试（教师可以创建主观题、客观题和填空题等，在课堂上对学生进行实时测试）、学生匿名反馈（学生若对某页不懂，可以点击“不懂”，教师收到匿名的反馈信息）和实时弹幕（学生可以发送弹幕，进行集体讨论）等功能，有效支撑了教师的课程教学。由于这些师生交互都是以雨课堂为媒介开展的，所有的交互都可以按照既定格式沉淀在日志文件当中，也就完成了对课堂上师生互动的建模。而这些数据的整合分析，学生状态的可视化呈现，也可以帮助教师量化教学效果，改进教学过程（王帅国，2017）。当前雨课堂提供的课堂教学评价主要通过描述性统计分析实现，如何构造更加智能的计算方法是其今后所要解决的主要问题之一。

五、研究展望

目前，智能教学领域处于快速发展时期，研究人员已经取得了很多成果，主要体现在算法模型的优化、智能软硬件系统的开发以及相应实证研究的开展上。面向课堂教学的评价，不可能抛开教师这个课堂主导者，完全由智能软硬件独立完成，因此系统地探究教师和机器智能如何在课堂上协同教学是本领域的关键问题和主要任务。这需要研究者从多个学科视角解释学习过程、设计人机交互的课堂教学机制，同时将教师的参与纳入其中，与教师协同开展研究。

1.人机协同教学的机制研究

面向课堂教学评价的建模需要厘清教师和机器智能协同教学的机制，并分别对二者的感知能力和可施展的教学动作进行表征。以往智能导学系统的研究强调通过建立学生模型对学生状态进行追踪，对教师建模和教学实际需求的研究并不多，因此，面向课堂教学评价的建模首先需要解决的就是教师和机器的有效协同教学机制问题。如果将课堂教学大体分为感知学生状态和实施教学行为两个部分的话，那么对于此科学问题的研究，就需要进一步明确机器智能如何帮助教师更加全面和精确地感知学生的状态，以及如何帮助教师实施更加丰富有效的教学行为。研究可以通过量化所有可感知的学生状态和可实施的教学行为，从而明晰人机协同教学机制，并对教学过程进行评价。

2.通用架构的普适性研究

形式化建模与智能计算是对教师和学生的行为和状态进行采集、建模分析和智能评估，最后生成教学辅助信息的过程。值得注意的是，教育系统是十分复杂的，不同教育场景、不同特征群体具有不同的特征。在这种差异下，智能算法能否有效迁移，能否适应不同场景和不同群体，是需要研究的问题。我们需要探讨形式化建模和智能计算算法的可迁移性和迁移的制约因素。比如，针对低龄儿童如小学一至三年级学生建立的协作学习行为模型和智能评估算法，是否能够迁移到小学高年级学生的协作学习评估上？在迁移过程中需要对哪些实现细节和参数进行调整？另外，对于不同学科、不同知识类型的课程内容，相关算法能否有效迁移？普适性如何？这都是需要重点研究的问题。

3.协同多学科进行交叉研究

对上述两个复杂科学问题的探究，需要跨学科团队的研究力量支持、多种学科协同研究，包括计算机科学、教育学、心理学和认知神经科学等。跨学科研究可以从多种角度发现教与学规律，更加系统地解释教与学机制、促进教与学成效。如计算机科学可以在采集教与学数据、建模表征以及智能计算方面起技术支撑作用；心理学、认知神经科学等学科可以揭示学生认知和非认知状态变化机制；教育学在整个研究中起着导向作用，可以指导我们分析教育需求、设计教学模式和开展实证研究。近期，D’Mello主导了一支囊括了上述多个学科、跨校跨学科研究团队，致力于对课堂交流理解、课堂活动组织框架和共同设计等进行研究，探索教师、学生、AI学习伙伴间的有效课堂互动机制，得到了美国国家科学基金会（National Science Foundation， NSF）2000万美元的资金支持（Institute of Cognitive Science，2020）。

4.携手教师进行“共同设计”

在传统教育研究方法中，研究人员是作为观察者，由外向内观察课堂，教师大多按照研究人员设定的脚本进行教学。这种研究方法实际上忽视了教师的体验和宝贵的教学经验。自基于设计的研究、迭代设计研究被提出以来，国际教育研究界开始注重让教师参与到研究设计中。Holstein等人（2019）采用基于设计的研究方法，制定了一系列与非技术背景教师有效沟通的工作流程，从调研需求、设计、仿真到开发，教师参与到每一步中，提升了智能教学辅助工具在课堂的适用性和实用性。教育设计开发研究不是一蹴而就的，这种“共同设计”（Co-Design）的研究范式注重对教育教学需求的调研、应用和迭代修改，能深入课堂解决实际教育问题。目前，以人工智能技术为代表的计算机技术正快速进入教育领域，我们应遵循一定的研究范式，在设计、开发和应用等全环节引入教师的参与，在学习科学等先进理论指导下，在一定周期进行系统研究和应用，提升教师教学效果和学生学习效果。

六、结语

新时代的课堂教学评价理论、手段和技术应着眼于追踪学生知识能力的生发，评价整个学习过程。利用新的技术手段促进课堂教学评价的实施，应重视教师与机器智能的协同，解决如何科学地将技术融入课堂，赋能教育，激发教师教学创造力，促进学生学习及其高阶能力发展和情感培养的研究课题。形式化建模可以将复杂多变的课堂教学过程进行解构和数理表征，构建教育研究者与计算机科学研究者相互沟通的基础，而智能计算技术可以在此基础上实现部分课堂教学评价的自动化。二者将人类教师智能与机器智能在课堂教学上的有效融合，有助于在未来课堂实现以学生为中心，培养协作交流、创新等高阶能力的关键目标。

参考文献：

[1]李青,孔冲(2013).下一代SCORM标准的新动向——ADL TLA和Experience API解读[J].电化教育研究, 34(8):61-67,72.

[2]宋飞 (2008).网络学习形成性评价探究[J]. 现代远程教育研究, (6): 37-39. 

[3]唐烨伟,赵桐,王伟(2015).xAPI——新一代学习技术规范引领智慧教育新标准[J].现代教育技术,25(1):107-113.

[4]万里鹏,兰旭光,张翰博等(2019).深度强化学习理论及其应用综述[J].模式识别与人工智能,32(1):67-81.

[5]王戟, 詹乃军, 冯新宇等(2019).形式化方法概貌[J]. 软件学报, 30(1): 33-61. 

[6]王朋利,柯清超,张洁琪(2020). 脑机接口的智能化课堂教学应用研究[J].开放教育研究, 26(1): 72-81. 

[7]王帅国(2017).雨课堂:移动互联网与大数据背景下的智慧教学工具[J].现代教育技术, 27(5): 26-32. 

[8]新华网(2020).中共中央 国务院印发《深化新时代教育评价改革总体方案》[EB/0L]. [2020-10-27]. http://www.xinhuanet.com/2020-10/13/c_1126601551.htmhttp://www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[9]赵士果(2013).促进学习的课堂评价研究[D]. 上海:华东师范大学. 

[10]Aleven, V., Mclaren, B., & Roll, I. et al. (2006). Toward Meta-Cognitive Tutoring: A Model of Help Seeking With a Cognitive Tutor[J]. International Journal of Artificial Intelligence in Education, 16(2): 101-128. 

[11]Aleven, V., Roll, I., & McLaren, B. M. et al. (2016). Help Helps, But Only So Much: Research on Help Seeking With Intelligent Tutoring Systems[J]. International Journal of Artificial Intelligence in Education, 26(1): 205-223. 

[12]Andallaza, T. C. S., & Rodrigo, M. M. T. (2013). Development of an Affect-Sensitive Agent for Aplusix[M]// Lane, H. C., Yacef, K., & Mostow, J. et al. (Eds.)(2013).   Artificial Intelligence in Education. Berlin, Heidelberg: Springer: 575-578.

[13]Arroyo, I., Cooper, D. G., & Burleson, W. et al. (2009). Emotion Sensors Go to School[C]// Proceedings of the 2009 Conference on Artificial Intelligence in Education: Building Learning Systems That Care: From Knowledge Representation to Affective Modelling. NLD : IOS Press: 17-24.

[14]Arroyo, I., Woolf, B. P., & Cooper, D. G. et al. (2011). The Impact of Animated Pedagogical Agents on Girls’and Boys’Emotions, Attitudes, Behaviors and Learning[C]// Proceedings of the IEEE 11th International Conference on Advanced Learning Technologies. Athens, GA, USA: IEEE: 506-510.

[15]Ausin, M. S., Azizsoltani, H., & Barnes, T. et al. (2019). Leveraging Deep Reinforcement Learning for Pedagogical Policy Induction in an Intelligent Tutoring System[C]// Proceedings of the 12th International Conference on Educational Data Mining (EDM 2019). Montreal, Canada: 168-177.

[16]Baylor, A. L., & Kim, Y. (2005). Simulating Instructional Roles Through Pedagogical Agents[J]. International Journal of Artificial Intelligence in Education, 15(2): 95-115. 

[17]Bloom, B. S. (1969). Some Theoretical Issues Relating to Educational Evaluation[M]// Tyler, R. W., & Rickey, H. G.(Eds.) (1969). Educational Evaluation: New Roles, New Means. The 63rd Yearbook of the National Society for the Study of Education, Part 2. Chicago, IL: University of Chicago Press: 26-50. 

[18]Chaplot, D. S., MacLellan, C., & Salakhutdinov, R. et al. (2018). Learning Cognitive Models Using Neural Networks[C]// Proceedings of the International Conference on Artificial Intelligence in Education (AIED 2018).Cham: Springer: 43-56.

[19]Chi, M. T., & Wylie, R. (2014). The ICAP Framework: Linking Cognitive Engagement to Active Learning Outcomes[J]. Educational Psychologist, 49(4): 219-243. 

[20]Corbett, A. T., & Anderson, J. R. (1994). Knowledge Tracing: Modeling the Acquisition of Procedural Knowledge[J]. User Modeling and User-Adapted Interaction, 4(4): 253-278. 

[21]Csikszentmihalyi, M., & Csikzentmihaly, M. (1990). Flow: The Psychology of Optimal Experience[M]. New York: Harper & Row.

[22]D Baker, R. S., Corbett, A. T., & Koedinger, K. R. et al. (2006). Adapting to When Students Game an Intelligent Tutoring System[M]//  Ikeda, M., Ashley, K. D., & Chan, T. W. (Eds.)(2006).  Intelligent Tutoring Systems. Berlin, Heidelberg: Springer: 392-401.

[23]Deeb, F. A., DiLillo, A., & Hickey, T. (2018). Using Spinoza Log Data to Enhance CS1 Pedagogy[C]// Proceedings of the International Conference on Computer Supported Education. Cham: Springer:14-36. 

[24]El Kaliouby, R. A. (2005). Mind-Reading Machines: Automated Inference of Complex Mental States[D]. University of Cambridge. 

[25]Ferrari, M., & Quaresima, V. (2012). A Brief Review on the History of Human Functional Near-Infrared Spectroscopy(Fnirs) Development and Fields of Application[J]. Neuroimage, 63(2): 921-935.

[26]Fortenbacher, A., Pinkwart, N., & Yun, H. (2017). Learning Analytics for Sensor-Based Adaptive Learning[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference. New York, NY, USA: Association for Computing Machinery: 592-593.

[27]Gulz, A., Haake, M., & Silvervarg, A. (2011). Extending a Teachable Agent With a Social Conversation Module-Effects on Student Experiences and Learning[M]// Biswas, G., Bull, S., & Kay, J. et al. (Eds.)(2011).  Artificial Intelligence in Education. Berlin, Heidelberg: Springer: 106-114.

[28]Holstein, K., McLaren, B. M., & Aleven, V. (2019). Co-Designing a Real-Time Classroom Orchestration Tool to Support Teacher-AI Complementarity[J]. Journal of Learning Analytics, 6(2): 27-52. 

[29]Institute of Cognitive Science (2020). Interdisciplinary Team of CU Researchers to Lead New National AI Institute[EB/OL]. [2020-10-22]. https://www.colorado.edu/ics/2020/08/27/interdisciplinary-team-cu-researchers-lead-new-national-ai-institute.

[30]Long, Y., & Aleven, V. (2013). Supporting Students’ Self-Regulated Learning With an Open Learner Model in a Linear Equation Tutor[M]// Lane, H. C., Yacef, K., & Mostow, J. et al. (Eds.)(2013). Artificial Intelligence in Education. Berlin, Heidelberg: Springer: 219-228.

[31]Lund, H. (2016). Eye Tracking in Library and Information Science: A Literature Review[J]. Library Hi Tech, 34(4): 585-614.

[32]Martinez-Maldonado, R., Clayphan, A., & Yacef, K. et al. (2014). MTFeedback: Providing Notifications to Enhance Teacher Awareness of Small Group Work in the Classroom[J]. IEEE Transactions on Learning Technologies, 8(2): 187-200.

[33]Martinez-Maldonado, R., Kay, J., & Yacef, K. (2013). An Automatic Approach for Mining Patterns of Collaboration Around an Interactive Tabletop[M]// Lane, H. C., Yacef, K., & Mostow, J. et al. (Eds.)(2013). Artificial Intelligence in Education. Berlin, Heidelberg: Springer: 101-110.

[34]Martinez-Maldonado, R., Yacef, K., & Kay, J. et al. (2011). Analysing Frequent Sequential Patterns of Collaborative Learning Activity Around an Interactive Tabletop[C]//Proceedings of the 4th International Conference on Educational Data Mining. Eindhoven , Netherlands: CEUR-WS: 111-120.

[35]Pavlik Jr, P. I., Cen, H., & Koedinger, K. R. (2009). Performance Factors Analysis-A New Alternative to Knowledge Tracing[M]// Dimitrova, V., Mizoguchi, R., & Boulay, B. D. et al. (Eds.)(2009). Artificial Intelligence in Education. Brighton, England: IOS Press : 531-538. 

[36]Perera, D., Kay, J., & Koprinska, I. et al. (2008). Clustering and Sequential Pattern Mining of Online Collaborative Learning Data[J]. IEEE Transactions on Knowledge and Data Engineering, 21(6): 759-772. 

[37]Prieto, L. P., Sharma, K., &  Kidzinski, Ł. et al.. (2017). Orchestration Load Indicators and Patterns: In-The-Wild Studies Using Mobile Eye-Tracking[J]. IEEE Transactions on Learning Technologies, 11(2): 216-229. 

[38]Ramadan, R. A., & Vasilakos, A. V. (2017). Brain Computer Interface: Control Signals Review[J]. Neurocomputing, 223: 26-44.

[39]Robison, J., McQuiggan, S., & Lester, J. (2009). Evaluating the Consequences of Affective Feedback in Intelligent Tutoring Systems[C]// Proceedings of the 2009 3rd International Conference on Affective Computing and Intelligent Interaction and Workshops. Amsterdam, Netherlands: IEEE: 1-6. 

[40]Shen, S., & Chi, M. (2016). Reinforcement Learning: the Sooner the Better, or the Later the Better?[C]// Proceedings of the 2016 Conference on User Modeling Adaptation and Personalization (UMAP’16). New York, NY, USA: Association for Computing Machinery: 37-44. 

[41]Soller, A., Martínez, A., & Jermann, P., et al. (2005). From Mirroring to Guiding: A Review of State of the Art Technology for Supporting Collaborative Learning[J]. International Journal of Artificial Intelligence in Education, 15(4): 261-290.

[42]Tillery, A. D., Varjas, K., & Meyers, J. et al. (2010). General Education Teachers’Perceptions of Behavior Management and Intervention Strategies[J]. Journal of Positive Behavior Interventions, 12(2): 86-102. 

[43]Tissenbaum, M., Lui, M., & Slotta, J. D. (2012). Co-Designing Collaborative Smart Classroom Curriculum for Secondary School Science[J]. Journal of Universal Computer Science, 18(3): 327-352. 

[44]Tissenbaum, M., & Slotta, J. (2019). Supporting Classroom Orchestration With Real-Time Feedback: A Role for Teacher Dashboards and Real-Time Agents[J]. International Journal of Computer-Supported Collaborative Learning, 14(7):1-27.

[45]Vanlehn, K. (2006). The Behavior of Tutoring Systems[J]. International Journal of Artificial Intelligence in Education, 16(3): 227-265. 

[46]VanLehn, K. (2016). Regulative Loops, Step Loops and Task Loops[J]. International Journal of Artificial Intelligence in Education, 26(1): 107-112.

[47]VanLehn, K., Burkhardt, H., & Cheema, S. et al. (2019). Can an Orchestration System Increase Collaborative, Productive Struggle in Teaching-By-Eliciting Classrooms?[J]. Interactive Learning Environments,  (2): 1-19. 

[48]VanLehn, K., Zhang, L., & Burleson, W. et al. (2016). Can a Non-Cognitive Learning Companion Increase the Effectiveness of a Meta-Cognitive Learning Strategy?[J]. IEEE Transactions on Learning Technologies, 10(3): 277-289. 

[49]Viswanathan, S. A., & VanLehn, K. (2017). Using the Tablet Gestures and Speech of Pairs of Students to Classify Their Collaboration[J]. IEEE Transactions on Learning Technologies, 11(2): 230-242. 

[50]Woolf, B. P., Arroyo, I., & Muldner, K. et al. (2010). The Effect of Motivational Learning Companions on Low Achieving Students and Students With Disabilities[C]// Aleven, V., Kay, J., & Mostow, J. (Eds.)(2010). Intelligent Tutoring Systems. Berlin, Heidelberg: Springer: 327-337.

收稿日期　2020-12-08　责任编辑　汪燕

封面图片来自互联网